LangStudio为应用流开发提供了直观且高效的集成开发环境,您可以构建、调试和优化由大语言模型、Python节点以及其他工具组成的应用流。
前提条件
已创建所需的连接。具体操作,请参见连接管理。
创建应用流
进入LangStudio,选择工作空间后,在应用流页签下单击新建应用流,进入应用流创建页面。
从模板新建
RAG:创建一个检索增强生成(Retrieval-Augmented Generation)应用,需要使用到向量数据库和LLM连接。
function-calling:创建一个支持工具使用的LLM应用,需要使用LLM连接和SerpAPI连接。
nl2sql:创建一个基于自然语言生成并执行SQL的LLM应用,需要使用LLM连接和RDS MySQL连接。
按类型新建
标准型:适用于通用应用程序开发。利用大语言模型的强大功能、定制的Python代码等来打造您的定制化应用流。
对话型:适用于对话型应用程序开发。在标准型的基础上,对话型提供对话历史、输入、输出的管理,以及对话框形式的测试界面。
开发应用流
应用流开发界面分为以下区域:
区域 | 区域说明 | 备注 |
① | 应用流概览区域 | 应用流的DAG图,可直观地查看数据在整个应用流中的传递。 |
② | 文件列表区域 | 应用流项目中的文件,您可以点击这些文件进行查看和编辑。 |
③ | 应用流配置区域 | 编辑和配置应用流中的各个节点。 |
④ | 纯代码模式开关 | 应用流配置页(即区域②中的flow.dag.yaml文件)支持切换到纯代码模式。如果您更习惯于直接编写代码而不是使用可视化界面,可以启用此模式。 |
⑤ | 应用流配置工具栏 | 包含配置应用流时常用的功能,如保存、添加Python节点、添加LLM节点和更多工具。 |
⑥ | 应用流运行工具栏 | 包含一些常用的操作按钮,如启动/查看/删除运行时、调试/运行应用流、查看应用流运行历史以及应用流部署。 重要
|
基础开发流程如下:
添加LLM/Python节点:鼠标悬停在两节点间空隙或单击应用流配置工具栏。
启动运行时:单击右上角启动运行时并进行配置。在进行Python节点解析或查看更多工具时,需要保证运行时已启动。
关键参数说明:
专有网络配置:请确保选择的VPC和应用流所用的连接(如LLM服务连接、数据库服务连接等)所在的VPC一致或两者网络已连通。
配置节点参数。
支持添加Python、LLM和工具节点。当添加Python节点时,关键说明:
函数需要被
@tool
装饰,才可以被加载为一个节点。修改完代码后,单击解析,函数的入参会被动态解析,成为节点的输入;函数的输出会被放到output字典中,可以被其他节点引用。
注:图中Python节点的入参input1是chat节点的输出,同时Python节点的输出作为应用流最终的输出字段answer的值。
函数支持的输入/输出类型:int、float、bool、str、dict、TypedDict、dataclass(只支持输出)、list。
调试/运行:单击右上角对话/运行, 开始执行应用流。
查看链路/错误日志:单击生成答案下的查看链路或查看日志,查看链路(Trace详情、拓扑视图)或运行日志。
删除运行时。如果您暂不需要运行业务流,建议删除运行时,避免持续计费。
后续操作
应用流开发、调试完成后,您可以将应用流部署至模型在线服务PAI-EAS中供生产使用。